Skip to content

No evidence that Chinese playtime mandates reduced heavy gaming in one segment of the video games industry

Zendle, Flick, Petrovskaya et al. (2023)

DisciplineInterdisciplinary
MethodComputational
Tagsadolescentsbehavioral telemetrydata · digital trace dataheavy gamingmethod · causal inferencemethod · regressionmethod · time series analysispolicy evaluationvideo game regulation

Summary

Problem: 全球多国政府正在考虑通过监管措施限制青少年数字设备使用时间,尤其是电子游戏。中国自2019年11月起实施了全球最严格的未成年人游戏时长限制政策(18岁以下每日1.5小时,节假日3小时),但该政策的有效性此前因缺乏大规模行为数据而无法评估。现有研究多依赖自我报告数据,存在测量误差,且无法回答"限制政策是否真正减少了重度游戏行为"这一核心问题。

Approach: 本研究利用某游戏行业利益相关方提供的、覆盖中国大陆超过24亿个游戏账号、总计超过70亿小时的遥测数据,通过两项预先注册的分析来评估政策效果:(1)比较政策实施前后重度游戏(每周游戏超过4小时/天、6天/周)的流行率变化;(2)对10,000名玩家进行个体内纵向分析,考察同一玩家在政策前后的重度游戏概率变化。此外还进行了多项敏感性分析,包括差分法、连续变量分析、2021年政策调整分析以及事件研究法。

Finding: 研究发现,政策实施后没有观察到重度游戏行为的减少。在个体间层面,账号在政策后任意一周内重度游戏的概率是政策前的1.14倍(95% CI 1.139–1.141),但这一数值低于预先注册的最小效应量(OR=2.0),因此不被解释为实际有意义的增加。在个体内层面,玩家在政策后反而更可能重度游戏(OR=1.250)。2021年进一步收紧政策后同样未观察到减少。多种敏感性分析均支持这一结论。

Significance: 该研究对"国家主导的游戏时长限制政策是否有效"这一全球性政策问题提供了首个基于直接行为数据的大规模证据。结果表明,中国2019年的游戏时长限制政策在总体上并未有效减少重度游戏行为,这对全球范围内正在考虑类似监管措施的政策制定者具有重要参考意义,也提示了在线行为监管中普遍存在的合规执行和规避问题。

Theoretical Framework

  • Theoretical tradition: 该研究属于行为监管有效性评估领域,结合了公共政策分析、行为成瘾研究和在线行为监管研究三个传统。
  • Prior theories built upon: 研究建立在以下理论/概念基础上:(1)关于"游戏障碍"(ICD-11)和"网络游戏障碍"(DSM-5)的学术争议;(2)Colder-Carras等人提出的重度游戏划分标准(每天超过4小时、每周6天);(3)在线监管中的"替代效应"(displacement)理论——即监管可能导致用户从不合规平台转移到不合规平台;(4)年龄验证规避理论——即未成年人可能通过VPN、借用成人账号等方式绕过限制。
  • Causal mechanism: 理论上的因果机制是:政府强制游戏公司限制未成年人游戏时长→未成年人实际游戏时间减少→重度游戏行为减少。这一机制成立的前提是:(a)游戏公司严格执行规定;(b)未成年人无法轻易规避限制;(c)未成年人不会转向其他游戏平台或账号。
  • Key assumptions: 理论假设包括:(1)游戏公司会一致且有效地执行监管要求;(2)年龄验证机制难以被规避;(3)未成年人不会通过创建多个账号、使用VPN或借用成人账号等方式绕过限制;(4)重度游戏行为是政策关注的核心结果变量。
  • Theoretical move: 该论文是对现有理论的实证检验而非理论扩展。它直接检验了"国家主导的游戏时长限制能够减少重度游戏"这一政策假设,并通过大规模行为数据对该假设提出了质疑。研究结果支持了在线监管文献中关于"合规执行不力和规避行为可能导致政策失效"的观点。
  • Scope conditions: 研究结论的适用范围限于:(1)中国2019年和2021年的特定政策;(2)该数据集所覆盖的游戏产品(主要是移动游戏);(3)重度游戏的定义(每天超过4小时、每周6天);(4)研究时间窗口(政策前后各11周)。

Research Design

本研究为观察性纵向研究(observational longitudinal study),利用自然实验设计评估政策效果。具体包括两项预先注册的分析:

  1. 个体间分析(between-person analysis):使用数据集1(22周内所有游戏账号的每周游戏时长数据),比较政策实施前11周与后11周重度游戏流行率的差异。因变量为"是否重度游戏"(二值变量,定义为每周游戏超过4小时/天、6天/周),自变量为政策实施前后(二值变量)。使用Fisher精确检验计算比值比(OR)。

  2. 个体内纵向分析(within-person analysis):使用数据集2(10,000名随机抽取的玩家在22周内的每周游戏数据),拟合多水平逻辑斯蒂广义加性模型(multilevel logistic GAM),预测个体在特定周是否重度游戏。模型包含:(a)周数的非线性平滑固定效应;(b)政策是否实施的二值固定效应;(c)每个玩家档案的随机截距。

  3. 敏感性分析(非预先注册,由同行评审建议添加):包括差分法分析(比较中国与其他50个地区的重度游戏变化)、连续变量分析(比较平均每周游戏时长)、2021年政策调整分析、账号创建数量分析、以及正式的事件研究法分析。

Data & Sample

  • 数据集1:覆盖2019年11月1日政策实施前后各11周(共22周)的中国大陆游戏遥测数据。每周平均有188,460,011个独立游戏档案,总计2,486,192,234个独立档案。数据来源为某游戏行业利益相关方(Unity),覆盖超过100万个游戏标识符。
  • 数据集2:从数据集1中随机抽取的10,000个玩家档案,用于个体内纵向分析。
  • 数据集3:围绕2021年9月1日政策调整前后各11周的数据,用于分析2021年政策调整的效果。
  • 数据集4:中国地区的游戏安装量数据,用于分析政策前后账号创建数量的变化。
  • 数据集5:全球50个地区的游戏数据,用于差分法敏感性分析。
  • 时间范围:2019年政策分析覆盖2019年8月至2020年1月;2021年政策分析覆盖2021年6月至2021年11月。
  • 数据特征:总游戏时长超过70亿小时。数据分布呈高度对数正态分布,大多数账号在观察期内游戏时间不足1小时。

Analytical Strategy

  1. 主要分析

    • 个体间分析:使用Fisher精确检验(双尾)计算政策前后重度游戏流行率的比值比(OR),并与预先注册的最小效应量(OR=2.0)进行比较。
    • 个体内分析:拟合多水平逻辑斯蒂广义加性模型(multilevel logistic GAM),包含周数的非线性平滑项、政策二值变量和随机截距。
  2. 敏感性分析

    • 差分法分析:比较中国与全球50个地区(包括俄罗斯、澳大利亚等)在相同时间段内的重度游戏变化,以检验观察到的变化是否为中国特有。
    • 连续变量分析:将游戏时长作为连续变量,使用部分重叠t检验比较政策前后的平均每周游戏时长。
    • 2021年政策调整分析:重复主要分析,但以2021年9月1日政策调整为中心。
    • 账号创建分析:使用卡方拟合优度检验比较政策前后11周的安装量。
    • 事件研究法:以东亚文化圈其他地区的账号为对照,进行正式的事件研究分析。
  3. 控制变量:模型包含周数的非线性趋势项以控制时间趋势;个体内分析通过随机截距控制个体差异。

  4. 稳健性检验:上述所有敏感性分析均作为稳健性检验。

Results & Findings

主要发现1:政策后重度游戏流行率未下降,反而略有上升 在个体间层面,政策实施前平均有0.77%的游戏档案属于重度游戏,政策后为0.88%。正式分析显示,政策后账号在任意一周内重度游戏的概率是政策前的1.14倍(P<0.001),但这一数值远低于预先注册的实际意义阈值(OR=2.0),因此不被解释为有实际意义的增加。这一发现与"政策应减少重度游戏"的理论预期相反,表明政策在总体上未产生预期效果。

主要发现2:个体内分析同样未发现政策减少重度游戏的证据 在10,000名玩家的个体内纵向分析中,模型解释了54.4%的重度游戏方差。政策变量显著(OR=1.250,95% CI 1.078–1.448,P=0.003),但方向与预期相反——个体在政策实施后反而更可能重度游戏。此外,模型发现了一个意外的线性下降趋势:个体随着时间推移倾向于减少重度游戏,但这一趋势在2017年(无政策时期)同样存在,表明这可能是玩家对特定游戏兴趣自然衰减的现象,而非政策效果。

主要发现3:2021年进一步收紧政策后仍未观察到减少 以2021年9月1日政策调整(限制未成年人仅在周五、周六、周日和公共假日每天游戏1小时)为中心的分析显示,政策调整前重度游戏流行率为0.44%,调整后为0.59%;平均每周游戏时长从1.29小时增加到1.51小时。部分重叠t检验确认了这些增加在统计上显著。这表明即使政策进一步收紧,仍未观察到重度游戏的减少。

主要发现4:差分法分析显示中国与其他地区的变化模式相似 在政策实施前后,中国重度游戏的OR为1.14,但同期俄罗斯、澳大利亚等多个地区也出现了类似或更大的变化。这表明观察到的变化可能并非中国政策特有的效果,而可能反映了全球性的时间趋势或其他共同因素。

主要发现5:账号创建数量未增加 政策后11周的安装量(1,304,358,773)低于政策前11周(1,400,722,598),卡方检验显著(P<0.001)。这一结果不支持"未成年人通过创建新账号规避限制"的假设,但也未排除其他规避方式(如使用VPN或借用成人账号)。

主要发现6:事件研究法未发现显著政策效应 以东亚文化圈其他地区的账号为对照的事件研究分析,在所有设定下均未发现中国账号在政策后平均游戏时长或重度游戏概率出现统计显著的相对变化。

零结果与意外发现

  • 核心零结果:政策未减少重度游戏行为——这是本研究的主要发现。
  • 意外发现:个体内分析中发现的线性下降趋势并非政策效应,而是玩家对特定游戏兴趣的自然衰减。
  • 意外发现:政策后重度游戏概率和平均游戏时长在统计上显著增加(尽管未达到实际意义阈值)。

Limitations

作者在文中承认的局限性包括:

  1. 数据覆盖范围有限:数据来自单一游戏行业利益相关方(Unity),主要覆盖移动游戏,可能无法代表所有类型的游戏(如PC游戏、主机游戏)和所有游戏平台。

  2. 无法验证年龄信息:数据中的年龄信息可能不准确,无法确认账号使用者是否确实是未成年人。未成年人可能使用成人账号或虚假年龄信息注册。

  3. 无法追踪跨平台行为:数据无法捕捉玩家是否在政策后转向了其他游戏平台或非Unity覆盖的游戏产品。

  4. 无法排除规避行为:虽然账号创建数量未增加,但无法排除未成年人通过VPN、借用他人账号等方式规避限制的可能性。

  5. 重度游戏定义的争议性:研究采用Colder-Carras等人的定义(每天超过4小时、每周6天),但文献中对"重度游戏"缺乏共识,不同定义可能导致不同结论。

  6. 观察性研究设计的因果推断限制:虽然采用了多种敏感性分析,但作为观察性研究,无法完全排除未观测混杂因素的影响。

  7. 政策执行差异:无法确认所有游戏公司是否一致且有效地执行了政策要求。

Key Contributions

  • 首次使用超过70亿小时的直接行为遥测数据(而非自我报告数据)评估中国游戏时长限制政策的有效性,填补了该领域大规模行为证据的空白。
  • 提供了全球最大规模游戏监管政策(中国2019年"未成年人网络游戏成瘾防治通知")的首个因果效应评估。
  • 通过预先注册的研究设计和多种敏感性分析(差分法、事件研究法、连续变量分析等),建立了较高的方法论标准。
  • 研究结果对全球范围内正在考虑类似游戏时长限制政策的国家(如韩国、越南、泰国等)提供了重要的政策参考证据。
  • 为在线行为监管文献中关于"合规执行和规避行为可能导致政策失效"的理论观点提供了实证支持。
  • 展示了遥测数据在公共政策评估中的巨大潜力,为未来类似研究提供了方法论范例。

Key Claims

"Using telemetry data on over seven billion hours of playtime provided by a stakeholder from the video games industry, we found no credible evidence for overall reduction in the prevalence of heavy playtime following the implementation of regulations: individual accounts became 1.14 times more likely to play heavily in any given week (95% confidence interval 1.139–1.141)." (Abstract)

"This falls below our preregistered smallest effect size of interest (2.0) and thus is not interpreted as a practically meaningful increase." (Abstract)

"Results remain robust across a variety of sensitivity analyses, including an analysis of more recent (2021) adjustments to playtime regulation. This casts doubt on the effectiveness of such state-controlled playtime mandates." (Abstract)

"This data pattern undercuts contemporary debates regarding the societal impact of Chinese playtime regulation: regardless of whether one considers playtime limits a necessary public health measure or unwarranted state intrusion, our results suggest that the playtime restrictions implemented in China in 2019 are at a minimum not in the aggregate effective in reducing heavy playtime." (Discussion)

"We found no evidence of reduced heavy playtime in our sample after China implemented its policy." (Discussion)


My Notes